4.2 プロンプトによる言語モデルの制御
モデルの大規模化にともなって、従来はファインチューニングを行わないと解けないと思われていた多くのタスクが、モデルにプロンプトと呼ばれるテキストを入力して後続するテキストを予測するという単純な方法で解けることがわかってきました。(Kindle版 p.121)
生成させた後続テキストがタスクへの回答となる
あらゆるタスクを同一フォーマットでみなせる
文脈内学習 (4.2.1)
例示を与える
few-shot learning
one-shot learning
zero-shot learning
推論時に学習させる方法とみなせる(=ICL: in-context learning; 文脈内学習)
ファインチューニングと違って重みを更新しない
chain-of-thought推論 (4.2.2)
マルチステップ推論(multi-step reasoning)が苦手
多段階の推論
推論過程の例示を与えると性能が改善する
zero-shot chain-of-thought reasoning
👉プロンプトエンジニアリング